آموزش ساخت وب اسکرپر با زبان #C
در دنیای امروز، دادهها مهم ترین دارایی دیجیتال محسوب میشوند. بسیاری از وب سایتها اطلاعات ارزشمندی درباره قیمت کالاها، اخبار، مقالات و دادههای آماری دارند که ممکن است بهصورت API در دسترس نباشند. اینجاست که مفهومی به نام وب اسکرپینگ (Web Scraping) وارد عمل میشود. در این مقاله قصد داریم به شما آموزش دهیم که چگونه با استفاده از زبان #C یک وب اسکرپر حرفهای بسازید.
وب اسکرپینگ چیست؟
وب اسکرپینگ یعنی استخراج خودکار اطلاعات از صفحات وب. مثلاً اگر بخواهید قیمت موبایلها را از چند فروشگاه آنلاین استخراج و مقایسه کنید، میتوانید به جای کپی کردن دستی، با یک برنامه وب اسکرپر این کاررا در چند ثانیه انجام دهید.
چرا #C برای وب اسکرپینگ مناسب است؟
- پایداری بالا در پروژههای سازمانی
- پشتیبانی عالی از چند نخی (Multithreading)
- ادغام ساده با پایگاههای داده و UI ویندوز
- وجود کتابخانههای خوب مانند HtmlAgilityPack، AngleSharp و HttpClient
مراحل ساخت یک وب اسکرپر با #C
برای ساخت یک اسکرپر ساده و قدرتمند با #C باید مراحل زیر را طی کنیم:
- انتخاب آدرس وبسایت هدف (Target URL)
- ارسال درخواست HTTP و دریافت HTML
- تجزیه (Parse) و استخراج دادهها از HTML
- ذخیره دادهها یا نمایش در رابط کاربری
مرحله ۱: نصب پیشنیازها
dotnet new console -n WebScraperDemo
cd WebScraperDemo
dotnet add package HtmlAgilityPack
مرحله ۲: ارسال درخواست HTTP
using System.Net.Http;
HttpClient client = new HttpClient();
var response = await client.GetAsync("https://example.com/products");
string html = await response.Content.ReadAsStringAsync();
مرحله ۳: تجزیه و تحلیل HTML با HtmlAgilityPack
using HtmlAgilityPack;
HtmlDocument doc = new HtmlDocument();
doc.LoadHtml(html);
var productNodes = doc.DocumentNode.SelectNodes("//div[@class='product']");
foreach (var product in productNodes)
{
var name = product.SelectSingleNode(".//h2").InnerText.Trim();
var price = product.SelectSingleNode(".//span[@class='price']").InnerText.Trim();
Console.WriteLine($"نام: {name} - قیمت: {price}");
}
مرحله ۴: مدیریت خطاها و آنتیباتها
- استفاده از Headers مرورگر در HttpClient
- افزودن تاخیر تصادفی بین درخواستها
- استفاده از PuppeteerSharp یا Playwright برای صفحات جاوا اسکریپت محور
مرحله ۵: ذخیره یا استفاده از دادهها
File.AppendAllText("products.txt", $"نام: {name} - قیمت: {price}\n");
نکات امنیتی و حقوقی در وب اسکرپینگ
- بررسی robots.txt سایت
- رعایت قوانین کپی رایت
- پرهیز ازایجاد بار زیاد روی سرور سایت مقصد
کتابخانههای مفید دیگر برای C# Web Scraping
- AngleSharp
- PuppeteerSharp
- Selenium برای #C
نمونههای کاربردی وب اسکرپینگ با #C
- جمعآوری قیمت محصولات از سایتهای فروشگاهی
- استخراج آگهیها از دیوار یا شیپور
- بررسی رتبه سایتها
- ساخت دیتاست آموزشی از اطلاعات آنلاین
نتیجه گیری
وب اسکرپینگ با زبان #C هم ساده است، هم قدرتمند. با استفاده از ابزارهایی مانند HtmlAgilityPack، HttpClient و کمی مهارت در XPath، میتوانید از وب سایتهای مختلف دادههای مفیدی استخراج کرده و در پروژههای شخصی یا تجاری استفاده کنید.
اما همیشه به جنبه های حقوقی و اخلاقی کار هم توجه داشته باشید و از منابع اطلاعاتی به درستی استفاده کنید.
توئیتر
تلگرام
لینکدین
فیسبوک
ایتا
روبیکا
محمد شاه نظرلی
برنامهنویس و توسعهدهنده نرمافزار با بیش از ۱۵ سال تجربه در داتنت، طراحی سامانههای سازمانی و بهینهسازی سئو.
علاقهمند به اشتراکگذاری دانش و یادگیری مستمر.
دیدگاه خود را ارسال کنید